По обыкновению многих французских писателей, Гюго облагораживал свое происхождение, намекая на знатность отцовского рода. Однако генерал Жозеф Леопольд Гюго был сыном плотника и, подобно многим людям Наполеоновской эпохи, поднялся благодаря мужеству и воле к власти, получив достаточно большое влияние в армии будущего узурпатора французского трона. Генерал Гюго был в свите Бонапарта и таким образом оказался сначала в Италии, потом в Испании. Виктор навестил отца в Неаполе в возрасте пяти лет и пошел в школу в Мадриде в 1811 году. Следы этих экзотических воспоминаний обнаружатся в его более поздней поэзии и пьесах. Однако мадам Гюго, склонную к эмансипации, не удовлетворяло постоянное кочевье армейской жены, и в 1812 году она обосновалась в Париже.